Vào ngày 24 tháng 6 dương lịch năm Hồng Vũ thứ 31 (1398), Minh Thái Tổ băng hà ở Nam Kinh, hưởng thọ 71 tuổi, trị vì được 30 năm. Sau khi ông chết, các ngự y của ông đã bị lưu đày. Về sau khi hai hoàng đế Minh Hiếu Tông và Minh Thế Tông băng hà thì ngự y của họ đều bị xử tử. Ông được táng ở Hiếu lăng, miếu hiệu là Thái Tổ, thụy là Cao hoàng đế.

Chu Nguyên Chương tổng cộng có 26 người con trai nhưng càng về cuối đời ông càng cảm thấy buồn rầu, bất an vì chưa biết giang sơn cơ nghiệp Đại Minh sẽ giao lại cho ai là xứng đáng. Hoàng đích trưởng tử Chu Tiêu là người may mắn được chọn làm người kế vị. Ngay khi Chu Tiêu 13 tuổi đã được lập làm hoàng thái tử. Thậm chí ông còn mời danh sĩ nổi tiếng Triết Giang đương thời là Tống Liêm về dạy cho thái tử với hi vọng Chu Tiêu sẽ là người thừa kế đầy tài năng. Sau 25 năm trau dồi kiến thức, thêm độ chín của tuổi đời 38, Chu Tiêu hoàn toàn đủ bản lĩnh nối ngôi cha. Nhưng không may, tháng 1/1392 sau khi đi thị sát Thiểm Tây trở về trên người Chu Tiêu mọc bướu dữ đau đớn vô cùng, và cuối cùng mất sớm.

Chu Tiêu mất sớm khiến Chu Nguyên Chương vô cùng đau lòng. Trong những người con trai còn lại thì ít người có thể tin tưởng được. Chu Vương, Tấn Vương đều là người có dã tâm lớn. Tần Vương là kẻ hoang đường thối nát, Lỗ Vương đần độn hơn người. Các vương tử khác kẻ thì phạm tội giết người kẻ thì đắm chìm trong tửu sắc không thì cũng không có chút kinh nghiệm cũng như tài năng chính trị nào.

Cuối cùng chỉ còn lại Yến Vương Chu Đệ và đích tôn Chu Doãn Văn (con trai thứ của hoàng thái tử Chu Tiêu). Đối với Chu Doãn Văn, Chu Nguyên Chương mang nhiều trăn trở. Ông vừa yêu thích tính cách đầy nhân từ mềm mỏng, đặc biệt là sự hiếu kính của Doãn Văn, nhưng ông lại cảm thấy lo sợ bất an. Liệu rằng đôi vai yếu ớt và bản lĩnh nhân từ yếu mềm kia có gánh nổi trọng trách.

Chu Nguyên Chương cũng từng trưng cầu ý kiến đối với các đại thần về vấn đề này. Chính sự cai trị hà khắc của Chu Nguyên Chương nên các quan văn trong triều luôn ủng hộ Chu Doãn Văn nối ngôi bởi một vị vua nhân từ và mềm mỏng hơn trong cai trị sẽ khiến dân chúng và các đại thần “dễ thở” hơn. Ngược lại các quan võ đều muốn ủng hộ Chu Đệ bởi chỉ có người tài năng bản lĩnh như Chu Đệ mới đủ khả năng gánh vác trọng trách này.

Đối với người con trai thứ tư Yến Vương Chu Đệ, chính bản thân Chu Nguyên Chương cũng vô cùng yêu quý và ngưỡng mộ chữ "Võ" trong con người Chu Đệ. Chu Đệ được nuôi lớn và hun đúc trưởng thành trong mùi khói lửa của các trận chiến. Nếu xét về tài năng và bản lĩnh, Chu Đệ không hề thua kém Chu Nguyên Chương bởi đều là bậc anh hùng thao lược hiếm có trong thiên hạ. Chu Đệ là người dũng mãnh mưu trí hơn người, khi mới 33 tuổi ông đã được coi là nhất đại “chiến thần”.

Nhưng cuối cùng, Chu Nguyên Chương đã đưa ra một quyết định vô cùng khó khăn: Lập đích tôn Chu Doãn Văn 16 tuổi làm hoàng thái tôn để lên kế vị, tức là vua Minh Huệ Đế. Một trong những nguyên nhân khiến Chu Nguyên Chương đưa ra quyết định này chính là vấn đề xuất thân không rõ ràng của Chu Đệ. Theo các nhà sử học, xuất thân của Chu Đệ đến nay lịch sử vẫn còn rất nhiều giả thuyết khác nhau nhưng đa phần đều có một điểm chung rằng Chu Đệ không phải là con đẻ của Mã hoàng hậu. Đây chính là lý do lớn nhất khiến Chu Đệ không được chọn làm người kế vị.

Nhưng Chu Nguyên Chương không ngờ rằng đây chính là quyết định sai lầm của mình. Ông không bao giờ biết rằng quyết định của mình đã kéo theo cuộc nội chiến giành ngôi vị do Chu Đệ phát động để đoạt lại thiên hạ từ tay người cháu Chu Doãn Văn. Sau khi xưng đế, Chu Đệ đã cho sửa lại toàn bộ sử sách và tìm mọi cách chứng minh Mã hoàng hậu chính là mẹ đẻ của mình, đồng thời còn tìm cách đưa ra nhiều chứng cứ chứng minh mình chính là người thừa kế hợp pháp và được Chu Nguyên Chương có ý lựa chọn để truyền hoàng vị.